持续学习（CL）旨在开发单一模型适应越来越多的任务的技术，从而潜在地利用跨任务的学习以资源有效的方式。 CL系统的主要挑战是灾难性的遗忘，在学习新任务时忘记了早期的任务。为了解决此问题，基于重播的CL方法在遇到遇到任务中选择的小缓冲区中维护和重复培训。我们提出梯度Coreset重放（GCR），一种新颖的重播缓冲区选择和使用仔细设计的优化标准的更新策略。具体而言，我们选择并维护一个“Coreset”，其与迄今为止关于当前模型参数的所有数据的梯度紧密近似，并讨论其有效应用于持续学习设置所需的关键策略。在学习的离线持续学习环境中，我们在最先进的最先进的最先进的持续学习环境中表现出显着的收益（2％-4％）。我们的调查结果还有效地转移到在线/流媒体CL设置，从而显示现有方法的5％。最后，我们展示了持续学习的监督对比损失的价值，当与我们的子集选择策略相结合时，累计增益高达5％。
translated by 谷歌翻译
通过选择最具信息丰富的样本，已证明主动学习可用于最小化标记成本。但是，现有的主动学习方法在诸如不平衡或稀有类别的现实方案中不适用于未标记集中的分发数据和冗余。在这项工作中，我们提出了类似的（基于子模块信息措施的主动学习），使用最近提出的子模块信息措施（SIM）作为采集函数的统一主动学习框架。我们认为类似的不仅在标准的主动学习中工作，而且还可以轻松扩展到上面考虑的现实设置，并充当活动学习的一站式解决方案，可以扩展到大型真实世界数据集。凭经验，我们表明，在罕见的课程的情况下，在罕见的阶级和〜5％ - 10％的情况下，在罕见的几个图像分类任务的情况下，相似显着优异的活动学习算法像CiFar-10，Mnist和Imagenet。类似于Distil Toolkit的一部分：“https://github.com/decile-team/distil”。
translated by 谷歌翻译
模型 - 不可知的元学习（MAML），一种流行的基于梯度的元学习框架，假设每个任务或实例对元学习者的贡献相等。因此，在几次拍摄学习中，它无法解决基本和新颖类之间的域转移。在这项工作中，我们提出了一种新颖的鲁棒元学习算法，巢式MAML，它学会为训练任务或实例分配权重。我们将权重用为超参数，并使用嵌套双级优化方法中设置的一小组验证任务迭代优化它们（与MAML中的标准双级优化相比）。然后，我们在元培训阶段应用NestedMaml，涉及（1）从不同于元测试任务分发的分布中采样的多个任务，或（2）具有嘈杂标签的某些数据样本。对综合和现实世界数据集的广泛实验表明，巢式米姆有效地减轻了“不需要的”任务或情况的影响，从而实现了最先进的强大的元学习方法的显着改善。
translated by 谷歌翻译